Intelligent Haptic Perception for Physical Robot Interaction

Doctorado en Ingeniería mecatrónica. Fecha de entrega de la Tesis doctoral: 8 de enero de 2020. Fecha de lectura de Tesis doctoral: 30 de marzo 2020.The dream of having robots living among us is coming true thanks to the recent advances in Artificial Intelligence (AI). The gap that still exists between that dream and reality will be filled by scientific research, but manifold challenges are yet to be addressed. Handling the complexity and uncertainty of real-world scenarios is still the major challenge in robotics nowadays. In this respect, novel AI methods are giving the robots the capability to learn from experience and therefore to cope with real-life situations. Moreover, we live in a physical world in which physical interactions are both vital and natural. Thus, those robots that are being developed to live among humans must perform tasks that require physical interactions. Haptic perception, conceived as the idea of feeling and processing tactile and kinesthetic sensations, is essential for making this physical interaction possible. This research is inspired by the dream of having robots among us, and therefore, addresses the challenge of developing robots with haptic perception capabilities that can operate in real-world scenarios. This PhD thesis tackles the problems related to physical robot interaction by employing machine learning techniques. Three AI solutions are proposed for different physical robot interaction challenges: i) Grasping and manipulation of humans’ limbs; ii) Tactile object recognition; iii) Control of Variable-Stiffness-Link (VSL) manipulators. The ideas behind this research work have potential robotic applications such as search and rescue, healthcare or rehabilitation. This dissertation consists of a compendium of publications comprising as the main body a compilation of previously published scientific articles. The baseline of this research is composed of a total of five papers published in prestigious peer-reviewed scientific journals and international robotics conferences

Human and Object Recognition with a High-resolution tactile sensor

This paper 1 describes the use of two artificial intelligence methods for object recognition via pressure images from a high-resolution tactile sensor. Both meth- ods follow the same procedure of feature extraction and posterior classification based on a supervised Supported Vector Machine (SVM). The two approaches differ on how features are extracted: while the first one uses the Speeded-Up Robust Features (SURF) descriptor, the other one employs a pre-trained Deep Convolutional Neural Network (DCNN). Besides, this work shows its applica- tion to object recognition for rescue robotics, by distinguishing between differ- ent body parts and inert objects. The performance analysis of the proposed methods is carried out with an experiment with 5-class non-human and 3-class human classification, providing a comparison in terms of accuracy and compu-tational load. Finally, it is discussed how feature-extraction based on SURF can be obtained up to five times faster compared to DCNN. On the other hand, the accuracy achieved using DCNN-based feature extraction can be 11.67% superior to SURF.Proyecto DPI2015-65186-R European Commission under grant agreement BES-2016-078237. Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Transfer learning or design a custom CNN for tactile object recognition

International Workshop on Robotac: New Progress in Tactile Perception and Learning in RoboticsNovel tactile sensors allow treating pressure lectures as standard images due to its highresolution. Therefore, computer vision algorithms such as Convolutional Neural Networks (CNNs) can be used to identify objects in contact. In this work, a high-resolution tactile sensor has been attached to a robotic end-effector to identify objects in contact. Moreover, two CNNs-based approaches have been tested in an experiment of classification of pressure images. These methods include a transfer learning approach using a pre-trained CNN on an RGB images dataset and a custom-made CNN trained from scratch with tactile information. A comparative study of performance between them has been carried out.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech. Spanish project DPI2015-65186-R, the European Commission under grant agreement BES-2016-078237, the educational project PIE-118 of the University of Malag

Clasificación de información táctil para la detección de personas

Este artículo presenta el diseño de un efector final táctil y la aplicación de técnicas de inteligencia artificial para la detección de personas mediante un brazo manipulador ligero de 6 grados de libertad. Este efector está compuesto por un sensor táctil de alta resolución que permite obtener imágenes de presión. El sistema extrae información háptica en situaciones de catástrofe en las que, generalmente, existe baja visibilidad, con el propósito de evaluar el estado de las víctimas en función de la urgencia de atención (triaje). Se han implementado dos métodos de inteligencia artificial para clasificar imágenes obtenidas por el sensor táctil, distinguiendo los contactos con personas de objetos inertes en escenarios de desastre. Cada método dispone de un extractor de características de imágenes de presión y un clasificador, obtenido por aprendizaje supervisado. Para validar los métodos se han realizado experimentos de clasificación en clases Humano y No humano. Finalmente, se ha realizado una comparación de ambos métodos en términos de porcentaje de acierto y tiempo empleado para la clasificación, en base a los resultados de los experimentos.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Methods for autonomous wristband placement with a search-and-rescue aerial manipulator

A new robotic system for Search And Rescue (SAR) operations based on the automatic wristband placement on the victims’ arm, which may provide identification, beaconing and remote sensor readings for continuous health monitoring. This paper focuses on the development of the automatic target localization and the device placement using an unmanned aerial manipulator. The automatic wrist detection and localization system uses an RGB-D camera and a convolutional neural network based on the region faster method (Faster R-CNN). A lightweight parallel delta manipulator with a large workspace has been built, and a new design of a wristband in the form of a passive detachable gripper, is presented, which under contact, automatically attaches to the human, while disengages from the manipulator. A new trajectory planning method has been used to minimize the torques caused by the external forces during contact, which cause attitude perturbations. Experiments have been done to evaluate the machine learning method for detection and location, and for the assessment of the performance of the trajectory planning method. The results show how the VGG-16 neural network provides a detection accuracy of 67.99%. Moreover, simulation experiments have been done to show that the new trajectories minimize the perturbations to the aerial platform.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Uso de Google Classroom como repositorio de robótica práctica: PieroAcademy

En el desarrollo de practicas de laboratorio en algunas asignaturas del área de ingeniería de sistemas y automática, los alumnos recaban información relativa a equipos y componentes de diversas fuentes externas. Los resultados de su trabajo, que en muchos casos son de gran calidad, pasan al olvido una vez evaluados. Con el objetivo de poner en valor y mejorar el aprovechamiento de dichos trabajos, se propone la creaci´on de un repositorio controlado de informaci´on, donde los estudiantes puedan recopilar parte del material necesario para la realizaci´on de sus trabajos, ejemplos de ayuda, y tutoriales realizados por otros estudiantes; pero ademas contribuir a ampliar la información mediante sus propias experiencias. En la implementación del repositorio, se hace uso de las herramientas proporcionadas por la G Suite for Education (GSFE), siendo el núcleo, la herramienta denominada Google Classroom. En este trabajo se describe la implantación y experiencia con este sistema como medio para gestionar un repositorio organizado donde sus denominadas"clases", toman contenido de unidades temáticas; con la versatilidad de su acceso desde dispositivos móviles y la capacidad de reutilización en asignaturas reales.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech. Proyecto de Innovación educativa de la Universidad de Málaga PIE 17-118

Predictive model for cytoneme guidance in Hedgehog signaling based on Ihog- Glypicans interaction

Additional information Supplementary information The online version contains supplementary material available at https://doi.org/10.1038/s41467-022-33262-4.Acknowledgements We are grateful to and Pedro Ripoll and Ana-Citlali Gradilla for comments on the manuscript. We also thank to Laura González-Méndez, Carlos Jiménez-Jiménez, David Sánchez-Hernández and Eléanor Simon in I.G laboratory for their help with some experiments, the Confocal Facilities of the CBMSO and Bloomington and Vienna stock centers for fly stocks. This work was supported by grants BFU2017-83789-P, PID2020-114533GB-C21 and TENTACLES consortium RED2018-102411-T to I.G from the Spanish Ministry of Science, Innovation and Universities and by institutional grants from the Fundación Areces and Banco de Santander to the CBMSO. FPI fellowship from the Spanish Ministry of Science, Innovation and Universities supported A.A-T (BFU2017-83789- P). This work was also supported by grants RTI2018-098850-B-I00 to J.S from the MINECO-Feder (Spain), PY18-RT-2422 & A-FQM-311-UGR18 to M.C, D.P and J.S from the Junta de Andalucia (Spain), MECD (Spain) research grant FPI2015/074837 to M.C, and partially supported by the MECD (Spain) research grant FPU14/06304 and the European Research Council (Europe) Project ERC-COG-2019 WACONDY (grant agreement No 865711) to D.P.MINECO-Feder A-FQM-311-UGR18, PY18-RT-2422Banco Santander RTI2018-098850-B-I00Ministerio de Ciencia, Innovación y Universidades MCIUEuropean Research Council 865711, ERC-COG-2019 ERCMinisterio de Educación, Cultura y Deporte FPI2015/074837, FPU14/06304Junta de Andalucí

Cinemática y prototipado de un manipulador paralelo con centro de rotación remoto para robótica quirúrgica

[Resumen] En este artículo se presenta el modelo cinemático de un robot paralelo y la construcción de un prototipo de dos grados de libertad, cuyo objeto es servir como posicionador de instrumentos de cirugía laparoscópica. El robot tiene una configuración en paralelo, con estructura de mecanismo de cinco barras con ejes no paralelos, con dos articulaciones activas. La particularidad de este mecanismo reside en su forma no planar, es decir, los ejes de las articulaciones del robot no se encuentran en un mismo plano, sino que sus extensiones se cortan en un punto remoto, sobre el cual pivota el elemento terminal del manipulador. El espacio de trabajo de este prototipo en un casquete esférico con centro en el puerto de entrada en el paciente. Al no tratarse de un manipulador de cadena abierta, su cinemática es más compleja. En este trabajo se presenta el modelo cinemático inverso para control en coordenadas esféricas, y su validación mediante la construcción de un prototipo

Monitorización de víctimas con manipuladores aéreos en operaciones de búsqueda y rescate

En este trabajo se presenta el primer dispositivo de monitorización de víctimas para su colocación automática con robots manipuladores aéreos. Se trata de un sistema sensorial distribuido para la evaluación de forma continua del estado de salud de víctimas de catástrofes. Se describen el sensor diseñado y el sistema de comunicaciones, así como la aplicación mediante la colocación del sensor basado en el uso de sistemas aéreos no tripulados (UAS) o robots manipuladores aéreos. El dispositivo de monitorización continua ofrece ventajas sobre el sistema de triage actual ya que permite obtener datos de la evolución de cada víctima. Recoge medidas de las constantes vitales de las víctimas, que son publicadas mediante protocolos de Internet de las Cosas (IoT) que permiten su procesado de forma remota. Además, posee métodos basados en aprendizaje profundo para la detección automática de la posición relativa de la muñeca del brazo de una persona con respecto al manipulador aéreo. Se han realizado experimentos preliminares de obtención de medidas y de colocación de sensores mediante una versión preliminar del sensor, cuyos resultados se incluyenUniversidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Uso del haptic paddle con aprendizaje basado en proyectos

[Resumen] En este trabajo se presenta la experiencia de la utilización docente de un dispositivos háptico desarrollado como una nueva versión del haptic paddle, creado en la Universidad de Stanford a mediados de los 90. Se trata de un dispositivo educativo de bajo coste y simple que puede ser ensamblado y programado por los estudiantes, y que se usó para enseñanza de dinámica de sistemas. El diseño realizado usa una electrónica completamente off the shelf, rodamientos y tornillería métrica estándar y piezas fabricadas mediante impresión 3D. En este trabajo se presenta este dispositivo junto con la experiencia de su utilización docente, mediante aprendizaje basado en proyectos, en una asignatura de máster de ingeniería mecatrónica. Se trata de la primera experiencia con un total de ocho kits de haptic paddle en la asignatura de Teleoperación y Telerrobótica, junto con aprendizaje basado en proyectos (ABP) y el uso de lenguajes de modelado. Se describen la organización y el desarrollo de las sesiones de prácticas con conclusiones sobre la adecuación del los dispositivos y métodos utilizados.Universidad de Málaga; PIE 15-18